Používaním tohto webu súhlasíte s uchovávaním cookies, ktoré slúžia na poskytovanie služieb, nastavenie reklám a analýzu návštevnosti. | Zásady ochrany osobných údajov. | OK, súhlasím
Electronic.sk | Základné pojmy: Elektrotechnika | Elektronika






...


A | B | C | D | E | F | G | H | CH | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

Token (text)
 

Token alebo známka v počítačovej vede je kategorizovaný blok textu, obyčajne pozostáva z nedeliteľných znakov, známych ako lexéma. Lexikálny analyzátor najprv číta lexémy a kategorizuje ich podľa funkcie, čím im priraďuje význam. Toto priradenie významu sa nazýva tokenizácia. Tokeny môžu vyzerať rôzne, napríklad to môžu byť slovenské, anglické alebo iné slová alebo rôzne symboly, musia to byť hlavne užitočné súčasti štruktúrovaného textu.

Rôzne druhy tokenov:

Lexém Typ tokenu (angl.)
sum IDENT
= ASSIGN_OP
3 NUMBER
+ ADD_OP
2 NUMBER
; SEMICOLON
Zdroj:
Text je dostupný za podmienok Creative Commons Attribution/Share-Alike License 3.0 Unported; prípadne za ďalších podmienok. Podrobnejšie informácie nájdete na stránke Podmienky použitia.


Podporte znalostnú spoločnosť na Slovensku
čítajte viac na tomto odkaze: Počítačové výhonky





Text je dostupný za podmienok Creative Commons Attribution/Share-Alike License 3.0 Unported; prípadne za ďalších podmienok.
Podrobnejšie informácie nájdete na stránke Podmienky použitia.

Your browser doesn’t support the object tag.

www.astronomia.sk | www.biologia.sk | www.botanika.sk | www.dejiny.sk | www.economy.sk | www.elektrotechnika.sk | www.estetika.sk | www.farmakologia.sk | www.filozofia.sk | Fyzika | www.futurologia.sk | www.genetika.sk | www.chemia.sk | www.lingvistika.sk | www.politologia.sk | www.psychologia.sk | www.sexuologia.sk | www.sociologia.sk | www.veda.sk I www.zoologia.sk